在本文中,我们使用大规模播放脚本数据集来提出从对话中提出戏剧发电的新颖任务。使用超过一百万行的对话和提示,我们将提示生成问题作为受控文本生成任务方法,并展示如何使用如何使用对话/提示鉴别器的语言模型来增强对话的影响。此外,我们还探讨了主题关键字和情绪的使用,以获得受控文本生成。广泛的定量和定性实验表明,语言模型可以成功地用于在高度专业化的域中生成合理的和属性控制的文本,例如播放脚本。配套材料可在:https://catlab-team.github.io/cuegen。
translated by 谷歌翻译
Osteoarthritis (OA) is the most prevalent chronic joint disease worldwide, where knee OA takes more than 80% of commonly affected joints. Knee OA is not a curable disease yet, and it affects large columns of patients, making it costly to patients and healthcare systems. Etiology, diagnosis, and treatment of knee OA might be argued by variability in its clinical and physical manifestations. Although knee OA carries a list of well-known terminology aiming to standardize the nomenclature of the diagnosis, prognosis, treatment, and clinical outcomes of the chronic joint disease, in practice there is a wide range of terminology associated with knee OA across different data sources, including but not limited to biomedical literature, clinical notes, healthcare literacy, and health-related social media. Among these data sources, the scientific articles published in the biomedical literature usually make a principled pipeline to study disease. Rapid yet, accurate text mining on large-scale scientific literature may discover novel knowledge and terminology to better understand knee OA and to improve the quality of knee OA diagnosis, prevention, and treatment. The present works aim to utilize artificial neural network strategies to automatically extract vocabularies associated with knee OA diseases. Our finding indicates the feasibility of developing word embedding neural networks for autonomous keyword extraction and abstraction of knee OA.
translated by 谷歌翻译
优化用于解决目标函数的机器学习算法引起了极大的兴趣。探索了优化常见算法的几种方法,例如梯度下降和随机梯度下降。这些方法之一是通过自适应采样来降低梯度方差,以解决大规模优化的经验风险最小化(ERM)问题。在本文中,我们将探讨如何从少量样本开始,然后几何增加它并使用先前样品ERM的解决方案来计算新的ERM。这将解决sublinear收敛的一阶优化算法,但计算复杂性较低。本文从该方法的理论证明开始,然后进行了两个实验,将梯度下降与梯度下降的自适应采样和ADAM进行了比较,并在不同数据集上使用自适应采样ADAM进行了比较。
translated by 谷歌翻译
深度学习已在许多神经影像应用中有效。但是,在许多情况下,捕获与小血管疾病有关的信息的成像序列的数量不足以支持数据驱动的技术。此外,基于队列的研究可能并不总是具有用于准确病变检测的最佳或必需成像序列。因此,有必要确定哪些成像序列对于准确检测至关重要。在这项研究中,我们旨在找到磁共振成像(MRI)序列的最佳组合,以深入基于学习的肿瘤周围空间(EPV)。为此,我们实施了一个有效的轻巧U-NET,适用于EPVS检测,并全面研究了来自易感加权成像(SWI),流体侵入的反转恢复(FLAIR),T1加权(T1W)和T2的不同信息组合 - 加权(T2W)MRI序列。我们得出的结论是,T2W MRI对于准确的EPV检测最为重要,并且在深神经网络中掺入SWI,FLAIR和T1W MRI可能会使精度的提高无关。
translated by 谷歌翻译
成对目标范例是机器学习的重要方面。使用成对目标功能的机器学习方法的示例包括面部识别,度量学习,两分性学习,多个内核学习以及曲线下面积(AUC)最大化的差异网络。与点学习相比,成对学习的样本量随样本数量的数量二次增长,从而使其复杂性增长。研究人员主要通过使用在线学习系统来应对这一挑战。然而,最近的研究为平滑损失功能提供了自适应样本量训练,作为融合和复杂性方面的更好策略,但没有全面的理论研究。在一项独特的研究方面,重要性抽样引发了有限的角度最小化的极大兴趣。这是因为随机梯度方差,这会导致收敛大大减慢。在本文中,我们将自适应样本量和对成对学习的重要性采样技术结合在一起,并保证非平滑凸成对损失函数的收敛保证。特别是,使用扩展的训练集对模型进行随机训练,以针对从稳定性边界得出的预定义数量的迭代。此外,我们证明在每次迭代时进行采样相反的实例会降低梯度的方差,从而加速收敛。 AUC最大化中各种数据集的实验证实了理论结果。
translated by 谷歌翻译
大多数监督学习数据集的构建围绕着为每个实例收集多个标签,然后将标签汇总以形成``金标准''的类型。我们通过开发该过程的(风格化的)理论模型并分析其统计后果的理论模型来质疑该管道的智慧,并显示了如何访问非聚集标签信息的信息可以使培训良好的模型更加容易,或者在某些情况下 - 甚至在某些情况下 - 可行,而只有金标准标签是不可能的。然而,整个故事都是微妙的,汇总和填充标签信息之间的对比取决于问题的细节,在该信息中,使用汇总信息的估计器表现出强大但较慢的收敛速度,而估计器可以有效地利用所有标签的收敛性更高。如果他们有忠诚(或可以学习)真实的标签过程,很快。我们在风格化模型中开发的理论对现实世界数据集进行了一些预测,包括何时非聚集标签应改善学习绩效,我们测试以证实我们的预测有效性。
translated by 谷歌翻译